Vào thời điểm này, Gandhi là một người trầm tính, khiêm cung không chú tâm về chính trị. Ông đọc báo lần đầu tiên năm lên 18 và thường run sợ khi bước ra tòa thuyết trình. Nam Phi đã biến đổi ông một cách sâu sắc khi ông chứng kiến sự hạ nhục và đàn áp mà cộng đồng Ấn Độ thường phải chịu đựng nơi đây. Vào một ngày, khi quan tòa thành phố Durban yêu cầu Gandhi gỡ khăn xếp (turban) trên đầu, ông từ chối và hùng hồn bước ra khỏi tòa. Một bước ngoặt trong cuộc đời thường được các truyện ký thừa nhận - có thể xem là chất xúc tác cho chủ nghĩa hành động của ông - xảy ra ít lâu sau, khi ông bắt đầu một cuộc hành trình đến Pretoria.[10] Ông bị vất ra khỏi xe lửa tại Pietermaritzburg sau khi từ chối chuyển từ toa xe hạng nhất đến toa hạng ba, vốn thường được những người da màu sử dụng mặc dù đã mua vé hạng nhất.[11] Không lâu sau, trong cuộc hành trình bằng xe ngựa, ông bị người lái xe đánh vì từ khước nhường chỗ cho một du khách châu Âu.[12] Ông cũng kham chịu nhiều khổ đau khác như bị loại ra nhiều khách sạn vì chỉ màu da của mình. Kinh nghiệm này khiến Gandhi quan sát kĩ hơn những thống khổ người đồng hương phải chịu đựng tại Nam Phi trong thời gian ông làm việc tại Pretoria.[13] Chính trong thời gian tại Nam Phi, qua sự chứng kiến tận mắt chế độ kì thị chủng tộc, thành kiến và bất công, Gandhi bắt đầu thám vấn địa vị trong xã hội của những người đồng hương và của chính mình.

Khi hợp đồng làm việc chấm dứt, Gandhi thu xếp trở về Ấn Độ. Tuy nhiên, trong buổi tiệc tiễn đưa tại Durban, ông tình cờ đọc một bài báo nói về một dự thảo pháp luật được Hội đồng lập pháp Natal đề nghị nhằm loại bỏ quyền bầu cử của người di dân Ấn Độ. Khi đưa việc này ra thảo luận với những người đồng hương, họ than không đủ kiến thức để phản đối dự thảo và khẩn khoản yêu cầu Gandhi ở lại giúp họ. Ông phổ biến một số kiến nghị đến cả hai, Viện Lập Pháp Natal và chính quyền Anh để phản đối dự thảo. Mặc dù không ngăn được việc dự thảo này được duyệt, cuộc đấu tranh của ông đã thành công trong việc soi rọi những điểm bất bình của người Ấn tại Nam Phi. Những người hỗ trợ thuyết phục ông lưu lại Durban để tiếp tục đấu tranh chống sự bất công được áp dụng đối với người Ấn tại đây. Ông lập Hội nghị Ấn Độ tại Natal năm 1894 và chính mình giữ vai bí thư. Qua tổ chức này, ông đã chuyển hóa cộng đồng người Ấn tại Nam Phi thành một lực lượng chính trị hỗn tạp, làm tràn ngập chính quyền cũng như báo chí với những lời trần thuật về sự bất mãn của người Ấn và những bằng chứng của sự kì thị nơi người Anh tại Nam Phi.

Năm 1896, Gandhi trở về Ấn Độ với mục đích mang vợ con sang Nam Phi. Năm 1897, khi trở lại Nam Phi, ông bị một nhóm bạo lực da trắng tấn công và tìm cách sát hại bằng tư hình. Như một dấu hiệu đầu tiên của thước đo nội tâm ảnh hưởng đến những cuộc đấu tranh sau này, Gandhi khước từ việc tố cáo bất cứ cá nhân nào của nhóm bạo lực, nói rằng việc không tìm sự bồi thường tại tòa án dựa trên cơ sở lỗi lầm cá nhân là một trong những nguyên tắc chính của ông.

Khi Chiến tranh Nam Phi bắt đầu, Gandhi chủ trương là người Ấn phải hỗ trợ chiến tranh để hợp pháp hóa yêu cầu trở thành công dân chính thức. Ông tổ chức một nhóm tình nguyện cứu thương gồm 300 người Ấn Độ và 800 người làm mướn. Tuy nhiên, sau khi chiến tranh kết thúc, tình trạng của người Ấn tại Nam Phi không khả quan hơn, vẫn tiếp tục sa đoạ. Năm 1906, chính quyền Transvaal công bố một pháp án mới, bắt người Ấn Độ của thuộc địa phải ký chứng. Tại một cuộc biểu tình lớn được tổ chức tại Johannesburg vào tháng 9 ngay trong năm đó, Gandhi lần đầu áp dụng nguyên tắc Chấp trì chân lý và đấu tranh bất bạo lực, khuyên các người đồng hương phản bác luật mới và chịu đựng hình phạt để thực hiện việc này thay vì phản kháng bằng phương tiện bạo lực. Dự án này được áp dụng, dẫn đến một cuộc tranh đấu kéo dài 7 năm với hơn 7000 người Ấn bị bắt giam (trong đó có Gandhi, bị bắt bỏ tù nhiều lần), đánh đập, thậm chí bị bắn vì đình công, từ chối không ký chứng, đốt giấy ký chứng hoặc tham gia những cuộc kháng cự bất bạo động khác. Mặc dù chính quyền thành công trong việc đàn áp những người Ấn phản đối, tiếng thét gào của công chúng trước những phương pháp tàn bạo được áp dụng bởi chính quyền Nam Phi cho những người phản đối yên lặng hòa bình này cuối cùng đã bắt buộc tướng Jan Christian Smuts luận bàn một phương án thoả hiệp với Gandhi.

Trong những năm sống tại Nam Phi, Gandhi đã lấy cảm hứng từ quyển Chí Tôn ca cũng như những tác phẩm của Lev Nikolayevich Tolstoy (đặc biệt là quyển "Thiên đường nằm trong Bạn"), người đã trải qua một sự chuyển biến tôn giáo sâu sắc với niềm tin vào một dạng "chủ nghĩa vô chính phủ" của Kitô giáo. Gandhi dịch bài "Thư gửi đến một môn đồ Ấn Độ giáo" (A Letter to a Hindu) của Tolstoi, được viết vào năm 1908 để phản ứng những đồng hương Ấn Độ theo chủ nghĩa dân tộc một cách hung bạo. Hai người viết thư cho nhau cho đến khi Tolstoi mất vào năm 1910. Bức thư của Tolstoi dùng triết học Ấn Độ có nguồn từ các Phệ-đà và những lời khuyên của Hắc thiên để hướng đến phong trào chủ nghĩa dân tộc Ấn Độ đang tiến triển. Gandhi cũng bị ảnh hưởng lớn qua tiểu luận nổi danh của Henry David Thoreau là "Sự không phục tòng của công chúng". Những năm lưu trú tại Nam Phi với tư cách một người chủ trương hành động chuyên về xã hội chính trị chính là thời kì những khái niệm và kĩ thuật của phương pháp bất hợp tác và phản đối bất bạo lực được phát triển. Khi Chiến tranh thế giới thứ nhất bắt đầu, ông quyết định trở về Ấn Độ, mang theo tất cả những gì ông đã học được từ những kinh nghiệm tại Nam Phi.